KVpop -- Key-Value Cache Compression with Predictive Online Pruning
KVpop：预测式在线剪枝的键值缓存压缩
🧭 LLM 推理 KV 缓存压缩与剪枝
NXAI · Johannes Kepler University Linz
通过监督未来注意力信号学习固定预算的 KV 缓存淘汰策略，结合延迟评分器，在推理任务上以高压缩比保持性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐系统的 LLM 推理中，KV 缓存是长上下文（如用户行为序列、多轮对话）的瓶颈，KVpop 的固定预算淘汰策略可直接应用于减少显存占用，支持更长上下文而不崩溃。
- 延迟记忆评分器思路可借鉴：对用户行为序列建模时，不急于丢弃近期 token，等积累更多上下文后再判重要性，更准确地保留关键信息（如近期点击可能关联后续购买意图）。
- 未来注意力监督的训练方式可迁移到“查询预判”场景：训练一个小型打分器预测 token 对未来查询的效用，用于动态压缩 RAG 召回文档或对话历史。
- 工程部署中，KVpop 固定预算保证了内存使用上界，适合线上服务稳定运行，可集成到 vLLM 等推理框架中，降低大规模部署成本。